Introducción¶
Uno de los principales problemas de realizar compras en la Dark web (el #1 ) es el riesgo de ir a la cárcel.
El lado tedioso de las compras en el mercado negro es mantener el anonimato ya que es algo imprescindible en el mundo virtual para hacer este tipo de transacciones, tanto por el lado de los compradores como por el de los vendedores. Pero una vez dentro ¿Qué es lo podemos observar?.
Image (filename="img/dream.jpg", width=1000, height=1000)
Del sitio web al dataset¶
Image (filename="img/tabla.jpg", width=1000, height=1000)
Información del dataset¶
print (perico.columns)
print ("Total de columnas:",len (perico.columns))
print ("Total de renglones:", len(perico))
El Conjunto de datos está compuesto por 64 columnas y 1504 renglones. Se pueden ver algunas variables con nombres que describen vagamente el contenido de sus columnas pero es necesario desglosarlas para saber que técnicas y tratamientos se pueden aplicar.
Descripción de las variables¶
'product_title'¶
Contiene una breve descripción del producto que el usuario vende
'ships_from_to'¶
De donde Proviene y a donde se envía
'grams'¶
Cantidad de gramos que un vendedor envía Algunos vendedores se anuncian como "0.5G COCAINE 89% " y otros "10 Gram 87% Pure Uncut Colombian Cocaine"
'quality'¶
La calidad de la cocaina que venden, como ejemplo, la denominada "Yen” es más pura (roza el 98%) y más blanca, escamosa y brillante. Ahora bien, existen otros tipos de cocaína en polvo con menos pureza, en la que su presentación es más polvorienta y con menor brillo. Esto ocurre porque para su comercialización se añaden una serie de sustancias químicas que pueden ser altamente tóxicas. Cuantas menos sustancias incorpore más pura es la coca y es considerada de mayor calidad.
'btc_price'¶
Precio en bitcoins del producto que venden
'cost_per_gram'¶
Costo por gramo de coca no pura
'cost_per_gram_pure'¶
Costo por gramo de coca pura
'product_link'¶
Enlace al producto
'vendor_link'¶
Enlace al vendedor
'vendor_name'¶
Nombre del vendedor
'successful_transactions'¶
Número de transacciones exitosas
'rating'¶
Calificación del vendedor
'ships'¶
El resto de las variables que aparecen en el dataset estan relacionadas con información geográfica que indica específicamente desde donde se esta enviando el producto y hacia a donde se envía, parecen redundantes por la forma en la fue creado el dataset pero aun así se puede trabajar con ellas
Análisis de datos¶
Una vez analizado el conjunto de datos se han detectado 5 rasgos que pueden resultar sumamente importantes para comprender y determinar el comportamiento de los usuarios en el sitio de la Dark web.
- Principales involucrados. ¿Qué países son los más afectados?
- Factores que influyen en el precio del producto
- Calidad
- Cantidad
- Vendedores
Principales involucrados ¿Qué países son los más afectados?¶
Image (filename="img/mapa_calor.jpg", width=1000, height=1000)
sns.set(font_scale=2)
plt.figure(figsize=(30,15))
plt.margins(0.8)
plt.title('Cantidad de envíos por país')
sns.barplot (x=df_value_counts['ships_from'], y=df_value_counts['cantidad_envios'])
¿Por qué son ellos los principales vendedores?
- No son productores como Colombia o México
¿De donde sale toda la droga que venden?
¿Por qué no aparecen los principales productores?
- Colombia y México no se ven afectados por la venta de droga por internet.
Comportamiento según United Nations Office on Drugs and Crime (UNODC). tomado del año 2013- 2017 https://wdr.unodc.org/wdr2019/prelaunch/WDR19_Booklet_1_EXECUTIVE_SUMMARY.pdf
Image (filename="img/envios_coc.png", width=1000, height=1000)
Calidad y cantidad¶
print ("Calidad promedio", calidad_promedio)
print ("Calidad moda", calidad_moda)
plt.figure(figsize=(15,7))
plt.title('Distribución de variable quality')
sns.distplot (perico['quality'])
plt.figure(figsize=(15, 5))
plt.title('diagrama de variable quality')
perico.boxplot(column=['quality'], grid = True,vert=False)
cantidad_promedio =perico['grams'].mean()
cantidad_moda =perico['grams'].mode()
print ("Cantidad promedio", cantidad_promedio)
print ("Cantidad moda", cantidad_moda)
plt.figure(figsize=(15,7))
plt.title('Distribución de variable grams')
sns.distplot (perico['grams'])
plt.figure(figsize=(16, 6))
plt.title('diagrama de variable grams')
perico.boxplot(column=['grams'], grid = True,vert=False)
¿Cuánto cuesta?, ¿Dónde es mas costosa?, ¿Qué factores influyen en el precio?¶
#sns.set(font_scale=2)
plt.figure(figsize=(30,15))
plt.margins(0.8)
plt.title('Costo por gramo')
sns.barplot (x=data2['ships_from'], y=data2['cost_per_gram'])
sns.set(font_scale=2)
f, ax = plt.subplots(figsize = (30,15))
sns.set_color_codes('pastel')
sns.barplot(x = 'ships_from', y = 'cost_per_gram_pure', data = data2,
label = 'cost_per_gram_pure', color = 'b', edgecolor = 'w')
sns.set_color_codes('muted')
sns.barplot(x = 'ships_from', y = 'cost_per_gram', data = data2,
label = 'cost_per_gram', color = 'b', edgecolor = 'w')
ax.legend(ncol = 2, loc = 'upper right')
plt.show()
Image (filename="img/calor2.png", width=1000, height=1000)
Image (filename="img/australia.jpg", width=700, height=700)
“Getting anything through customs is really hard. They’ve got really strict border control”
Principal causa de precio elevado.
En los paises productores como colombia el precio de la cocaina por gramo es de aproximadamente 1.5 Euros -> 32.34 Pesos.
Para ser exportada tiene que irse a venezuela, solo por cruzar la frontera el precio en venezuela sube a 6 Euros -> 125.38 Pesos.
Una vez que cruza el atlantico, en Barcelona (España) el precio sube a 40 Euros -> 835.92 Pesos.
Finalmente fuera de ella sube a 80 euros -> 1721.29 pesos
Machine learning¶
Aprendizaje supervisado¶
El aprendizaje supervisado son un conjunto de técnicas que permite realizar predicciones futuras basadas en comportamientos o características analizadas en datos históricos etiquetados.
Aprendizaje no supervisado¶
Aprendizaje no supervisado es un método de Aprendizaje Automático donde un modelo se ajusta a las observaciones. Se distingue del Aprendizaje supervisado por el hecho de que no hay un conocimiento a priori.
sns.set(font_scale=1)
g = sns.PairGrid(perico, vars=["cost_per_gram", "quality","cost_per_gram_pure", "rating","grams","successful_transactions","btc_price"])
g = g.map_diag(plt.hist, edgecolor="w")
g = g.map_offdiag(plt.scatter, edgecolor="w", s=80)
g=sns.pairplot(datoscoke, vars=["cost_per_gram", "cost_per_gram_pure"])
g.fig.set_size_inches(14,7)
lm = smf.ols ( formula = "cost_per_gram ~ cost_per_gram_pure", data = datoscoke).fit()
lm.summary()
datoscoke.plot(kind="scatter",x="cost_per_gram_pure", y="cost_per_gram")
plt.plot(pd.DataFrame(datoscoke["cost_per_gram_pure"]),coca_pred, c="red", linewidth=2)
Modelo de regresión múltiple para predecir el costo por gramo¶
- Costo por gramo puro
- Rating
- Calidad
- Cantidad de gramos
lm3.rsquared
lm3.summary()
Xs=datoscoke[feature_colssimple]
Ys=datoscoke["cost_per_gram"]
lmsimple = LinearRegression()
lmsimple.fit(Xs,Ys)
print (lmsimple.intercept_)
print (lmsimple.coef_)
list (zip(feature_colssimple, lmsimple.coef_))
lmsimple.score(Xs,Ys)#rcuadrado
Comparación de modelos lineales¶
datoscoke[['cost_per_gram','R_simple','R_mult']].head(15)
Validación del modelo¶
check = (a<0.8)
training =datoscoke[check]#conjunto de entrenamiento 80%
testing =datoscoke[~check]#conjunto de testing 20%
lm5.summary()#datos de entrenamiento
lm5test= smf.ols(formula ="cost_per_gram ~ grams+ships_from+btc_price+quality+cost_per_gram_pure", data=test).fit()
#datos de prueba
lm5test.summary()
Predicción lineal multiple sin variable dominante.¶
feature_cols2 = ["grams","ships_from","quality","rating","btc_price","successful_transactions"]
from sklearn.linear_model import LinearRegression
lmsin.score(X2,Y2)#rcuadrado
datoscoke[['cost_per_gram','R_simple','R_mult','R_SinV']].head(15)
Árbol de regresión¶
datoscoke[['cost_per_gram','R_simple','R_mult','R_SinV','Arbol']].head(15)
from sklearn.tree import export_graphviz
with open ("img/arbold_coca.dot","w") as dotfile:
export_graphviz (regtree, out_file=dotfile, feature_names=predictors)
dotfile.close()
import os
from graphviz import Source
file= open("img/arbold_coca.dot","r")
text = file.read()
Source(text)
#datoscoke[['cost_per_gram','R_simple','R_mult','R_SinV','Arbol','predicssvd']].head(15)
from sklearn.metrics import accuracy_score
#score1 = accuracy_score ()
Clustering¶
Matriz de distancias¶
- Matriz dependiente de una variable
matrizSimple = datoscoke.loc[:, ["vendor_name", "rating"]].copy()
vars =matrizSimple.columns.values.tolist()[1:4]
vars
matrizSimple.head(5)
matrizSimplecompleta=dm_to_df2 (ddsimple, matrizSimple["vendor_name"])
matrizSimplecompleta
matriz = datoscoke.loc[:, ["vendor_name","quality", "rating", "successful_transactions"]].copy()
vars=matriz.columns.values.tolist()[1:4]
vars
matriz.head()
Matriz de distancias entre vendedores con multiples variables¶
matrizcompleta=dm_to_df (dd1, matriz["vendor_name"])
matrizcompleta
molly=matriz.loc[matriz['vendor_name'] == "Mister-Molly"]
molly.head()
matriz.loc[matriz['vendor_name'] == "Mister-Molly"].mean()
gof=matriz.loc[matriz['vendor_name'] == "0ldamsterdamm"]
gof.head()
matriz.loc[matriz['vendor_name'] == "0ldamsterdamm"].mean()
plt.figure(figsize=(15,10))
sns.scatterplot(x=datoscoke['quality'], y=datoscoke['successful_transactions'],hue =datoscoke['vendor_name']=="Gofastteam")
plt.figure(figsize=(15,10))
sns.scatterplot(x=datoscoke['quality'], y=datoscoke['cost_per_gram'],hue =datoscoke['vendor_name']=="Gofastteam")
plt.figure(figsize=(15,10))
sns.scatterplot(x=datoscoke['rating'], y=datoscoke['successful_transactions'],hue =datoscoke['vendor_name']=="mordekai")
plt.figure(figsize=(15,10))
sns.scatterplot(x=datoscoke['quality'], y=datoscoke['cost_per_gram'],hue =datoscoke['vendor_name']=="mordekai")
K-MEANS¶
km_norm.head(10)
Image (filename="img/codo.png", width=800, height=800)
plt.hist(md_k)
Image (filename="img/quality.png", width=1000, height=1000)
kmcodo=datoscoke.loc[:, [ "quality","successful_transactions"]].copy()
kmcodo.head()
plt.figure(figsize=(10,5))
plt.plot(K, distortions, 'bx-')
plt.xlabel('Valores de K')
plt.ylabel('Dist')
plt.title('Número de clusters')
plt.show()
k-MEANS (Rating - successful_transactions)¶
Image (filename="img/rs.png", width=1000, height=1000)
Usuarios¶
Image (filename="img/pregunta.jpg", width=800, height=800)
Image (filename="img/vendedores.jpg", width=800, height=800)
Image (filename="img/compras.jpg", width=800, height=800)
Image (filename="img/trust.png", width=800, height=800)
Image (filename="img/scam.png", width=800, height=800)
Image (filename="img/goff.jpg", width=800, height=800)
